# -*- coding: utf-8 -*-

import scrapy
import time
from ..items import TuantiItem


# 5.	请对以上代码添加注释（5分）
class XinxiSpider(scrapy.Spider):
    name = 'xinxi'
    # 网站链接：http://www.ttbz.org.cn/Home/Standard?page=1
    # 3.	请抓取前3页数据（10分）
    start_urls = ['http://www.ttbz.org.cn/Home/Standard?page=1',
                  'http://www.ttbz.org.cn/Home/Standard?page=2',
                  'http://www.ttbz.org.cn/Home/Standard?page=3']

    def parse(self, response):
        time.sleep(3)
        all_a = response.xpath("//table[@class='standard_list_table'][1]//tr/td[6]/a")
        for a in all_a:
            href = 'http://www.ttbz.org.cn' + a.xpath("./@href")[0].extract()
            yield scrapy.Request(url=href, callback=self.parse_xq)

    def parse_xq(self, response):
        time.sleep(3)
        # 1.	抓取标准状态（5分）
        zhuangtai = response.xpath("//table[@class='tctable'][2]//tr[2]/td[2]/span/text()")[0].extract().strip()
        # 2.	抓取标准的中文，英文标题（10分）
        biaoti_zw = response.xpath("//table[@class='tctable'][2]//tr[4]/td[2]/span/text()")[0].extract().strip()
        biaoti_en = response.xpath("//table[@class='tctable'][2]//tr[5]/td[2]/span/text()")[0].extract().strip()
        # 4.	请将以上数据存入MySQL数据库（5分）
        item = TuantiItem()
        item['zhuangtai'] = zhuangtai
        item['biaoti_zw'] = biaoti_zw
        item['biaoti_en'] = biaoti_en
        yield item
